AgentHijack: Benchmarking Computer Use Agent Robustness to Common Environment Corruptions
计算机使用代理在常见环境扰动下的鲁棒性基准与增强
🧭 计算机使用代理鲁棒性评估与增强 ★ 深度解读
TMLR Group, Hong Kong Baptist University · The University of Texas at Austin · Sydney AI Centre, The University of Sydney · Shanghai Artificial Intelligence Laboratory
提出AgentHijack基准量化常见干扰对GUI代理的影响，并设计集成onlooker与DA-GRPO的框架提升鲁棒性。
📌 工作参考价值（4 点）
- 在构建多步骤推荐或对话Agent时，可引入onlooker机制（行为总结与初始环境检查）以降低执行偏差；当出现非预期界面变化（如弹窗、网络错误）时，Agent能快速归因并回归主任务。
- DA-GRPO（数据增强的群体相对策略优化）通过在不同干扰环境下采样轨迹，提升策略对视觉干扰、意外操作的鲁棒性，类似电商推荐中应对布局变化、突发遮挡的挑战。
- 评估智能体时需涵盖真实环境中的常见扰动，不可仅依赖干净基准；可借鉴AgentHijack的9类可配置干扰设计，构建电商APP中的异常场景测试集（如弹窗、多app切换、网络波动）。
- 将行为总结文本作为历史上下文的一部分，帮助Agent聚焦长期目标而不被临时弹窗或误触内容带偏，这一设计可迁移到多轮推荐对话中，提升对中断和话题偏移的恢复能力。